Não deveria ser difícil encontrar a maior criatura do mundo. No entanto, no meio de todo o ruído e atividade num vasto oceano, mesmo os cantos da poderosa baleia azul podem ser extremamente difíceis de detectar.

Michaela Alksne, estudante de doutorado no Scripps Institution of Oceanography, investiga como detectar e classificar os chamados sociais e de alimentação da baleia azul do Nordeste do Pacífico. Sua nova abordagem é usar um grande conjunto de dados de espectrogramas, ou representações visuais de suas ondas sonoras. No ano passado, um workshop intensivo de três semanas na Caltech, chamado Métodos de Visão Computacional para Ecologia ( CV4Ecology), deu a Alksne as ferramentas de visão computacional (CV) – métodos pelos quais as máquinas “vêem” imagens para reproduzir habilidades analíticas humanas por meio de inteligência artificial – ela precisava levar esse projeto adiante.

“CV4Ecology ajudou a impulsionar minha capacidade de construir, ajustar e interpretar modelos de visão computacional”, diz Alksne. “Consegui construir com sucesso um modelo que pode classificar o canto das baleias azuis em espectrogramas. Este modelo será uma ferramenta fundamental e inestimável em meu pipeline geral de processamento de dados e me permitirá analisar mais dados de maneira eficiente e precisa.”

Ecologistas de todo o mundo estão aproveitando o poder da visão computacional para estudar e melhorar as relações entre organismos vivos, humanos e seus ambientes físicos. Os cientistas podem agora usar a visão computacional para analisar imagens de satélite que revelam como as populações de morsas respondem às mudanças no Ártico, monitorar câmeras de sonar nos leitos dos rios do Alasca para rastrear as taxas de desova de salmões e prever a velocidade do vento através da varredura de imagens de árvores balançando para apoiar os esforços de combate a incêndios.

O workshop de verão CV4Ecology, que o Caltech organizou pela segunda vez em 2023 e que irá acolher novamente neste verão, pretende promover ainda mais esta interligação entre as ciências naturais e as tecnologias avançadas. Ele fornece aos ecologistas o conhecimento, as habilidades e as oportunidades de colaboração para analisar com precisão e eficiência grandes conjuntos de dados de imagens, áudio ou vídeo usando aprendizado de máquina e inteligência artificial.

O workshop foi criado por Sara Beery (PhD '23), Homer A. Burnell Professora de Desenvolvimento de Carreira em IA e Tomada de Decisão no MIT; e Pietro Perona, professor Allen E. Puckett de Engenharia Elétrica da Caltech. CV4Ecology está hospedado no campus da Caltech e é apoiado pelo Resnick Sustainability Institute e pela organização sem fins lucrativos EleutherAI em parceria com a iniciativa Caltech AI4Science. Os copatrocinadores incluem Microsoft AI for Earth, Amazon Web Services e Wild Me, com patrocínio de dados da Planet Labs.

Beery diz que um dos principais gargalos no uso da visão computacional para a ecologia – ou, mais amplamente, no uso da IA para o avanço da ciência – é a necessidade de os cientistas dominarem as habilidades necessárias para tirar o melhor proveito desta tecnologia em rápida evolução.

“Criamos o CV4Ecology para ensinar as habilidades práticas necessárias para usar o aprendizado de máquina na pesquisa ecológica às pessoas que estão formulando e trabalhando para resolver problemas em seus respectivos campos”, diz ela, “capacitando-os com o conhecimento para fazer esse trabalho por conta própria”.

Beery sabe muito sobre como integrar ecologia com aprendizado de máquina. Antes de ingressar no MIT, ela foi pesquisadora visitante no Google e trabalhou no Auto Arborist , um conjunto de dados de 2,6 milhões de árvores em 23 cidades norte-americanas. O projeto utilizou aprendizado de máquina para analisar imagens aéreas e ao nível da rua sobre o crescimento e a saúde das árvores, o que permitiu um monitoramento mais eficiente e menos dispendioso da floresta urbana.

Perona também conhece o aprendizado de máquina. Ele recebeu o Prêmio Longuet-Higgins de 2013 e o Prêmio Koenderink de 2010, ambos os quais reconhecem contribuições significativas em visão computacional. Seu projeto Visipedia (uma interface visual para a Wikipédia) produziu dois aplicativos, iNaturalist e Merlin Bird ID, que permitem que qualquer pessoa com um dispositivo inteligente digitalize suas fotos para identificar espécies de plantas e animais.

Agora, diz Beery, ela está orgulhosa de retornar ao Caltech para ajudar a apoiar a próxima geração de ecologistas na construção de métodos de visão computacional que permitam o monitoramento ambiental e da biodiversidade em escala global para enfrentar os desafios do mundo real.

Na CV4Ecology em agosto passado, 18 alunos juntaram-se a três mentores, quatro instrutores e quatro assistentes de ensino de conceituadas instituições científicas de todo o mundo. Eles se reuniram na Caltech para mergulhar em treinamentos em sala de aula e projetos práticos com oportunidades de orientação individual. Os alunos receberam lições básicas sobre os princípios da visão computacional que se concentraram no treinamento e avaliação de modelos de CV específicos para seus próprios dados e projetos de pesquisa ecológica. Cada aluno finalizou a experiência com uma ferramenta de trabalho relacionada à sua pesquisa e com um sólido entendimento dos conceitos de CV e suas aplicações ecológicas no mundo real, melhores práticas e riscos potenciais.

“Sara e sua equipe cultivaram um ambiente de aprendizagem envolvente, colaborativo e de apoio, onde todos nos sentíamos confortáveis para sermos nós mesmos e fazermos perguntas”, diz Alksne. “O CVE4Ecology tem sido a melhor experiência educativa que tive durante o meu percurso acadêmico e estou imensamente grato à Sara por tornar este workshop possível.”

Michael Procko, um empreiteiro que trabalha com as tribos Tulalip do estado de Washington e ex-cientista pesquisador da Universidade de Washington, foi outro aluno do CV4Ecology 2023. O trabalho de Procko busca mitigar conflitos entre humanos e animais selvagens em tempo real, desenvolvendo modelos de detecção de predadores vinculados às armadilhas fotográficas. O sistema processa imagens e envia alertas relevantes aos gestores de terras e vida selvagem.

“Além de me oferecer ferramentas para agilizar minha pesquisa por meio da aceleração do processamento de fotos e vídeos, a experiência me ofereceu uma perspectiva realmente interessante sobre gerenciamento de dados que alterou fundamentalmente a forma como abordarei projetos de pesquisa no futuro”, diz Procko.

Além de adquirir competências técnicas e novas perspectivas, Procko apreciou particularmente a natureza interdisciplinar do workshop.

“Foi realmente incrível ver como a ponte entre as disciplinas proporciona uma perspectiva totalmente nova”, diz ele. “Ver a integração da investigação ecológica e da ciência da computação em algo novo, a tecnologia de conservação, foi um exemplo realmente comovente de como grande parte do progresso científico depende de uma colaboração eficaz.”

Shir Bar, doutorando na Universidade de Tel Aviv que ingressou na CV4Ecology como assistente de ensino, usa tecnologia de visão computacional para estudar o comportamento alimentar de larvas de peixes que nadam livremente. Essas criaturas pequenas e velozes podem ser difíceis de estudar; ao refinar os métodos de visão computacional para rastrear seu comportamento, diz Bar, este trabalho pode beneficiar outros esforços semelhantes de aprendizado de máquina em ecologia.

“A experiência proporcionou um senso de comunidade. Não há muitas pessoas na interseção dessas disciplinas, e passar três semanas com pessoas que compartilham seus interesses geeks é uma experiência poderosa”, diz Bar. “O workshop reúne engenheiros que já estão neste espaço há algum tempo com ecologistas e conservacionistas que sabem adquirir, interpretar e raciocinar sobre dados. O fato de todos termos sido capazes de aprender uns com os outros como criar ferramentas de visão computacional melhor aplicadas à ecologia, de maneira prática, é a parte mais valiosa.”